Hoàng Diệu là người nổi bật nhất trong số các anh em trong gia đình. Năm 20 tuổi ông đã đồng đỗ Cử nhân với anh trai Hoàng Kim Giám (khi ấy 23 tuổi) khoa Mậu Thân (1848) trong khoa thi Hương tại Thừa Thiên, năm 25 tuổi đỗ Phó bảng khoa Quý Sửu (1853), thời vua Tự Đức [3]. Năm 1851, ông được vua Tự Đức bổ nhiệm làm Tri huyện Tuy Phước rồi Tri phủ Tuy Viễn (Bình Định).

Năm 1864, xảy ra vụ nổi dậy của Nguyễn Phúc Hồng Tập, con hoàng thân Miên Áo, em chú bác của Hồng Nhậm (tức vua Tự Đức), cùng với một số người khác. Bại lộ, Hồng Tập và Nguyễn Văn Viện bị án chém. Hoàng Diệu đến nhậm chức Tri huyện Hương Trà thay Tôn Thất Thanh bị đổi đi nơi khác, bấy giờ có mặt trong lúc hành quyết đã nghe Hồng Tập nói: "Vì tức giận về hòa nghị mới bị tội, xin chớ ghép vào tội phản nghịch". Sau đó các quan Phan Huy Kiệm, Trần Gia Huệ và Biện Vĩnh tâu lên Tự Đức, đề nghị nhà vua nên theo gương Hán Minh Đế, thẩm tra lại vụ án. Tự Đức phán là vụ án đã được đình thần thẩm xét kỹ, nay nghe Phan Huy Kiệm nói Hoàng Diệu đã kể lại lời trăng trối của Hồng Tập, bèn quyết định giáng chức Phan Huy Kiệm, Trần Gia Huệ, Biện Vĩnh và Hoàng Diệu[4].

Được phục chức sau vụ "tẩy oan" Hồng Tập, Hoàng Diệu lần đầu ra Bắc năm 1868, làm Tri phủ Đa Phúc, rồi Tri phủ Lạng Giang (Bắc Giang), Án sát Nam Định, Bố chính Bắc Ninh. Trong chín năm ấy, ông lập nhiều quân công, dẹp trộm cướp và an dân, ở đâu ông cũng được sĩ dân quý mến.

Năm 1873 ông được triệu về kinh đô Huế giữ chức Tham tri Bộ Hình rồi Tham tri Bộ Lại, kiêm quản Đô Sát Viện, dự bàn những việc ở Cơ Mật Viện. Năm 1878, đổi làm Tuần phủ Quảng Nam, thăng Tổng đốc An Tịnh (Nghệ An và Hà Tĩnh ngày nay), nhưng vì nguyên Tổng đốc Nguyễn Chính vẫn lưu nhiệm nên ông ở lại Huế, làm Tham tri Bộ Lại (Thực lục của Cao Xuân Dục). Chẳng bao lâu sau, ông được sung chức Phó Toàn quyền Đại Thần đàm phán với Sứ thần Tây Ban Nha một hiệp ước giao thương. Đầu năm 1880, ông làm Tổng đốc Hà Ninh, lãnh chức hàm Thượng thư bộ Binh, kiêm quản cả việc thương chính.

Biết rõ dã tâm xâm lược của thực dân Pháp lúc bấy giờ, Hoàng Diệu bắt tay ngay vào việc chuẩn bị chiến đấu, kinh lý, biên phòng. Như Đại Nam chính biên liệt truyện đã nêu, tổng đốc Hà Ninh đã "cùng với tổng đốc tỉnh Sơn Tây Nguyễn Hữu Độ dâng sớ nói về việc bố phòng, lại cùng với Nguyễn Đình Nhuận mật tâu về chước phòng vị sẵn". Vua Tự Đức khen. "Nhưng sau đó - như trong di biểu nêu - vua lại trách cứ lưu binh... vì sợ giặc"... "chế ngự không đúng cách" (?)

Một mặt khác, Hoàng Diệu quan tâm ổn định chăm lo đời sống của dân chúng trong công bằng và trật tự. Ngày nay, ở Ô Quan Chưởng, đầu phố Hàng Chiếu, còn áp ở mặt tường cổng ra vào một phần tấm bia Lệnh cấm trừ tệ (Thân cấm khu tệ), niêm yết năm 1881, của Tổng đốc Hà Ninh Hoàng Diệu và Tuần phủ Hà Nội Hoàng Hữu Xứng, nhằm ngăn chặn các tệ nhũng nhiễu đối với nhân dân trong các dịp ma chay, cưới xin cũng như nạn vòi tiền, cướp bóc trên sông và ở các chợ, kèm theo các quy định cụ thể cần thi hành đến nơi đến chốn. Một di tích quý hiếm nói lên tấm lòng ưu ái của người công bộc mãi mãi còn giá trị của nó.

Từ 1879 đến 1882, Ông làm Tổng đốc Hà Ninh quản lý vùng trọng yếu nhất của Bắc Bộ là Hà Nội và phụ cận. Ông đã chỉ đạo quân dân Hà Nội tử thủ chống lại quân đội Pháp, bất chấp triều đình Huế đã chấp nhận đầu hàng. Ngày 25 tháng 4 năm 1882 (tức ngày 8 tháng 3 năm Nhâm Ngọ), thành Hà Nội thất thủ, Hoàng Diệu đã tự vẫn tại Võ Miếu để không rơi vào tay đối phương.

Người Hà Nội vô cùng đau đớn trước cái chết của ông, ngay hôm sau, nhiều người họp lại, sắm sửa mền nệm tử tế, rước quan tài của Hoàng Diệu từ trong thành ra, tổ chức khâm liệm và mai táng tại khu vườn Dinh Đốc học (nay là địa điểm khách sạn Royal Star ở đường Trần Quý Cáp cạnh chợ Ngô Sĩ Liên, sau ga Hà Nội).

Hơn một tháng sau hai người con trai ông ra Hà Nội lo liệu đưa thi hài thân sinh về an táng ở quê quán vào mùa thu năm ấy.

Khu lăng mộ Hoàng Diệu, theo quyết định ngày 25 tháng 1 năm 1994 của Bộ Văn hóa Thông tin, được công nhận là một di tích lịch sử - văn hóa của Việt Nam.